Local LLMを動かす上での課題
Local LLMを使うことのメリットは大きい。
特にエンジニアで、生成AIの開発でAPIを使っている場合、計り知れないほど大きい。
しかし、高性能な大きなLocal LLMのモデル(Llama3 70Bなど)を使う場合、パソコンスペックが制約となる。
Apple Silicon Mac
メモリ64GB以上
Llama3: 70B、Command R+
メモリ32GB/36GB
7Bや13B程度までの軽量なモデルなら、動かすこともができる。
ollama、llama.cpp、LM Studioなどで簡単に動かせる。
メモリ16GBのMac
Phi-3の3.8Bなどの、小さなモデルが限界
参考資料
https://note.com/erukiti/n/n58a8180ea9fb